Monitoring systems for parallel distributed data management systems

摘要

Um sistema de informação BigData é vulgarmente composto por um vasto conjunto de máquinas, que funcionando em rede, desempenham funções de forma distribuída e em paralelo. Estes sistemas estão vulgarmente acompanhados de sistemas de monitorização para avaliação de vários indicadores, por exemplo, performance, alocação de recursos e prevenção de erros. Na atualidade existem inúmeros sistemas que desempenham estas funções, no entanto, apresentam algumas desvantagens como limitações na representação gráfica de organização complexa e a sua abordagem direcionada a componentes físicos. O presente estudo tem como principal objetivo perceber quais as melhores alternativas de mecanismos visuais gráficos e de interação que permitem a representação de dados de monitorização de performance em ambientes de grid computing, e possibilitam fornecer informação ao utilizador final capaz de contribuir de forma objetiva na perceção da análise comportamental do sistema. O estudo insere-se no contexto do projeto europeu FP7 LeanBigData (contando já com duas classificações anuais de excelente) que tem como principal objetivo a construção de um sistema de informação BigData completo, focado em problemas de eficiência. Este sistema surgirá acompanhado de um sistema de monitorização capaz de dar resposta às necessidades do projeto, que se apresentam como diferenciadoras num contexto de resolução de problemas.Neste estudo faz-se a análise de alguns dos sistemas mais usados. Partindo das conclusões dessa análise quanto às desvantagens identificadas nesses sistemas, formulou-se uma hipótese, concebeu-se uma solução e desenvolveu-se uma prova de conceito, onde foram aplicadas diferentes técnicas de representação da estrutura dos recursos, permitindo que a interação com o utilizador mantivesse um fluxo do uso da aplicação simples e intuitivo. Foi idealizada também uma alternativa à abordagem física da representação dos diversos componentes do sistema, reproduzindo uma interpretação lógica, onde podem ser facilmente retiradas conclusões sobre alternativas de organização de tarefas pelas máquinas da rede. Para que a interação se concluísse simples mas completa, a construção e edição de diversos gráficos e respetivos dashboards também foi requerida como abrangente nas suas potencialidades de diferenciação e manipulação.Com a implementação da prova de conceito proposta e respetiva aprovação pelo consórcio do projeto, foram realizados os devidos testes de simulação comportamental num sistema fornecido pelo projeto, simulando o objeto de estudo.